package com.simoniu.scalademo

import org.apache.spark.{SparkConf, SparkContext}
object CreateRddByFileScalaDemo {
  def main(args: Array[String]): Unit = {
    //创建SparkContext
    val conf = new SparkConf()
    conf.setAppName("CreateRddByFileScala")//设置任务名称
      .setMaster("local")//local表示在本地执行
    val sc = new SparkContext(conf)

    var path = "D:\\uploadFiles\\hello2.txt"
    //path = "hdfs://bigdata01:9000/test/hello.txt"
    //读取文件数据，可以在textFile中指定生成的RDD的分区数量
    val rdd = sc.textFile(path,2)
    //获取每一行数据的长度，计算文件内数据的总长度
    val length = rdd.map(_.length).reduce(_ + _)
    println("length="+length)
    sc.stop()
  }
}
